Current Result Document :
| 한글제목(Korean Title) |
비전 트랜스포머 기반 연속 학습 |
| 영문제목(English Title) |
Vision Transformer Based Continual Learning |
| 저자(Author) |
이재호
박경문
Jaeho Lee
Gyeong-Moon Park
|
| 원문수록처(Citation) |
VOL 48 NO. 02 PP. 1545 ~ 1547 (2021. 12) |
한글내용
(Korean Abstract) |
최근 여러 Vision Transformer 기반의 모델들이 다양한 비전 태스크에서 엄청난 가능성을 보여 주었다. 하지만 지금까지 Vision Transformer의 높은 성능은 특정한 한 가지 태스크를 수행하는 경우로 국한되어 있었다. 다른 base model에서도 그러하듯 한 모델에 여러 태스크를 순차적으로 학습시키는 경우 학습이 진행됨에 따라 이미 학습된 태스크에 대한 수행 능력을 잃게 되는 catastrophic forgetting 현상이 발생한다. 이러한 문제를 해결하고자 여러 연속 학습 기법들이 제안되었고, 비전 태스크의 경우 CNN을 기반으로 한 연구들이 진행되었다. 본 논문에서는 Vision Transformer를 기반으로 연속 학습을 연구한다. 기존 연속 학습 기법을 Vision Transformer에 적용하는 것이 CNN에 적용한 것보다 더 적은 parameter로 좋은 성능이 나오는 것을 보이고, transformer 구조의 특징인 token을 이용한 새로운 연속 학습 기법을 제안한다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
